Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
解释性世界模型：基于 LLM 解释的强化学习长时延信用分配
🧭 生成式推荐 · 长时延奖励归因 ★ 深度解读
Spotify · University of Cambridge
用 LLM 对轨迹结果做解释并按事件相关性重分配奖励，显著改善长时延信用分配，在游戏与推荐基准上超过 PPO/LaRe
📌 工作参考价值（4 点）
- 用 LLM 做用户长期行为归因，替代纯时间折扣：对留存/转化等延迟数十甚至数百步的奖励，提示 LLM 从历史推荐中挑出真正贡献的 item，并按重要性权重重新分配奖励到这些步骤，保持 episode 总奖励不变。可以直接复用到现有 RLHF/RL 推荐训练，且无需改变 policy 架构。
- CHO 层级重分配要程序化、缓存解释图：一次 LLM 调用生成轨迹解释图，之后递归分摊奖励无需额外模型调用；同一解释图可对不同 reward function、不同深度复用。工程上把解释图缓存起来，离线训练只调用一次 LLM，避免成本爆炸。
- 蒸馏解释规则为 action mask/gating 规则：在线策略无需每步调用 LLM，把 LLM 发现的用户流失规则（如 KuaiRand 中 5 步内 tag 重叠导致 disengagement）固化为动作掩码，既能提升 session length 和累计 return，又不引入推理延迟。
- 解释变体与指标强相关，选型要匹配业务目标：Lombrozo breadth 在 AUC/log loss 上最优，但 ranking metrics 变化小；Halpern counterfactual 对排序偏好改变更明显。若业务关注 candidate 排名，应优先 HP；若关注整体判别能力，选 LB。